IT之家
07-10 07:04
OpenAI 挑战 AI 评测基准 SWE-Bench Pro：约 30% 存在评测缺陷
📌 一句话：OpenAI质疑AI编程评测标准，三成测试存缺陷，暴露行业评估体系漏洞。
💡 3个要点
SWE-Bench Pro是AI编程能力的"考场"，用于衡量AI解决真实软件问题的水平
OpenAI审查发现约30%的测试用例存在标注错误或评判标准不一致问题
该发现动摇了当前AI模型能力排名和商业宣传的公信力基础
📖 背景
SWE-Bench Pro是近年兴起的主流AI编程评测基准，众多AI模型在该测试上的得分被视为行业标准。
💭 点评
评测标准本身有缺陷，AI的能力就可能被高估或低估。OpenAI敢于质疑"考题"，这不仅是在推动技术进步，更是在倒逼行业建立更透明、更严格的评估体系——这对整个AI行业的长远健康发展是好事。
📖 原文链接
点击阅读原文 →